Độ entropy là gì? Các nghiên cứu khoa học về Độ entropy

Khái niệm cơ bản về entropy

Entropy là một đại lượng vật lý và toán học dùng để đo lường mức độ không chắc chắn, ngẫu nhiên hoặc hỗn loạn của một hệ thống. Trong các ngữ cảnh khác nhau, entropy có thể hiểu theo các nghĩa khác nhau, nhưng điểm chung là nó định lượng hóa thông tin bị thiếu hoặc sự bất định trong một mô tả về hệ thống.

Trong vật lý, entropy gắn với tính không thể đảo ngược của các quá trình tự nhiên, còn trong lý thuyết thông tin, entropy đại diện cho lượng thông tin trung bình cần thiết để mô tả kết quả của một quá trình ngẫu nhiên. Nó còn là nền tảng trong khoa học dữ liệu, mật mã, sinh học, và kinh tế học.

Khái niệm entropy đã phát triển từ lý thuyết nhiệt động lực học cổ điển cho đến các lĩnh vực liên ngành hiện đại. Tính linh hoạt trong định nghĩa và ứng dụng là lý do tại sao entropy được xem là một trong những đại lượng nền tảng nhất trong khoa học tự nhiên và xã hội.

Entropy trong nhiệt động lực học

Trong nhiệt động lực học cổ điển, entropy là một hàm trạng thái đặc trưng cho sự phân bố năng lượng bên trong hệ. Nếu một hệ tiến hóa từ trạng thái cân bằng có tổ chức cao sang trạng thái hỗn loạn hơn, entropy của hệ sẽ tăng. Nguyên lý thứ hai của nhiệt động lực học phát biểu rằng entropy của một hệ cô lập không bao giờ giảm.

Định nghĩa vi phân của entropy trong quá trình thuận nghịch: $dS = \frac{\delta Q_\text{rev}}{T}$ Trong đó:

• $dS$: độ thay đổi entropy
• $\delta Q_\text{rev}$: nhiệt lượng trao đổi trong quá trình thuận nghịch
• $T$: nhiệt độ tuyệt đối (Kelvin)

Với các hệ kín, entropy có xu hướng tăng theo thời gian, biểu thị sự chuyển hóa từ trật tự sang hỗn loạn – ví dụ như sự khuếch tán khí trong bình kín. Từ đó, entropy không chỉ là đại lượng toán học mà còn là “mũi tên thời gian” trong vật lý cổ điển.

Entropy trong cơ học thống kê

Trong cơ học thống kê, entropy được định nghĩa dựa trên số trạng thái vi mô $\Omega$ có thể dẫn đến cùng một trạng thái vĩ mô quan sát được. Boltzmann là người đầu tiên thiết lập mối quan hệ giữa hai cấp độ mô tả này thông qua công thức nổi tiếng: $S = k_B \ln \Omega$

Ở đây:

• $S$: entropy (J/K)
• $k_B$: hằng số Boltzmann (~1.38×10⁻²³ J/K)
• $\Omega$: số cấu hình vi mô tương ứng

Công thức này được khắc lên mộ của Boltzmann và là nền tảng cho toàn bộ cơ học thống kê hiện đại.

Ví dụ, nếu một hệ khí lý tưởng có thể phân bố các phân tử theo $10^{25}$ trạng thái khác nhau mà đều cho cùng một áp suất và nhiệt độ quan sát được, thì entropy là logarit của số trạng thái đó nhân với hằng số Boltzmann. Điều này cho thấy entropy không chỉ phản ánh năng lượng mà còn phản ánh khả năng tồn tại của hệ thống.

Entropy trong lý thuyết thông tin

Trong lý thuyết thông tin do Claude Shannon phát triển năm 1948, entropy là thước đo mức độ không chắc chắn của một biến ngẫu nhiên rời rạc. Nếu $X$ là một biến ngẫu nhiên với các giá trị $x_1, x_2, \dots, x_n$ và phân phối xác suất $p(x_i)$, entropy được định nghĩa là: $H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Đơn vị đo là bit nếu dùng log cơ số 2. Entropy cao nhất xảy ra khi phân phối đồng đều – tức là mọi kết quả đều có xác suất bằng nhau, và thấp nhất (bằng 0) khi kết quả luôn chắc chắn. Điều này rất quan trọng trong thiết kế hệ thống mã hóa, nén dữ liệu và đánh giá tính hiệu quả của nguồn thông tin.

Bảng minh họa entropy của một số phân phối:

Phân phối	p(x=1)	p(x=0)	Entropy (bit)
Đồng đều	0.5	0.5	1.00
Lệch nhẹ	0.9	0.1	0.47
Chắc chắn	1.0	0.0	0.00

Trong truyền thông số, entropy giúp xác định giới hạn lý thuyết cho việc nén dữ liệu không mất mát. Nếu một nguồn dữ liệu có entropy trung bình là 2 bit/symbol, thì không thể nén mỗi ký hiệu xuống thấp hơn 2 bit mà vẫn giữ toàn bộ thông tin.

Đơn vị đo và ý nghĩa lượng hóa

Đơn vị đo entropy phụ thuộc vào lĩnh vực và hệ cơ số được sử dụng trong định nghĩa logarit. Trong nhiệt động lực học, entropy có đơn vị là joule trên kelvin (J/K), phản ánh lượng năng lượng bị “mất” dưới dạng không thể sinh công trong quá trình chuyển đổi nhiệt. Trong lý thuyết thông tin, đơn vị entropy phổ biến là bit (dùng log cơ số 2), nat (log cơ số e) hoặc hartley (log cơ số 10).

Ý nghĩa của entropy không nằm ở giá trị tuyệt đối mà ở độ chênh lệch giữa các trạng thái. Ví dụ, nếu một hệ vật lý có entropy tăng từ 100 J/K lên 110 J/K, điều đó cho thấy hệ đã trải qua quá trình khiến nó trở nên hỗn loạn hơn, hoặc có nhiều trạng thái vi mô hơn thỏa mãn cùng một trạng thái vĩ mô.

Trong thông tin học, entropy bằng 0 nếu không có bất định (tức luôn biết chắc kết quả). Entropy đạt cực đại khi phân phối xác suất là đồng đều. Khi xây dựng mã hóa nguồn, entropy xác định giới hạn tối thiểu về số bit trung bình cần dùng để biểu diễn mỗi ký hiệu mà không mất mát thông tin.

Vai trò của entropy trong học máy và trí tuệ nhân tạo

Trong học máy, entropy là công cụ đánh giá sự bất định trong dữ liệu hoặc trong mô hình. Đặc biệt trong các bài toán phân loại, entropy được dùng như một hàm mục tiêu để chọn ra thuộc tính phân chia tốt nhất khi xây dựng cây quyết định.

Giả sử tập dữ liệu gồm nhiều nhãn phân loại, entropy của một nút trong cây quyết định được tính bằng công thức Shannon. Khi chọn một thuộc tính để chia dữ liệu, thuật toán chọn thuộc tính sao cho giảm entropy là lớn nhất. Giá trị giảm đó gọi là Information Gain: $\text{Gain}(S, A) = H(S) - \sum_{v \in \text{Values}(A)} \frac{|S_v|}{|S|} H(S_v)$

Entropy còn xuất hiện dưới dạng hàm mất mát trong các mô hình xác suất như mạng nơ-ron phân loại. Trong đó, hàm Cross-Entropy được dùng để đo độ lệch giữa phân phối dự đoán và phân phối thực tế: $H(p, q) = -\sum_x p(x) \log q(x)$ Với $p(x)$ là nhãn thực và $q(x)$ là xác suất dự đoán.

Ứng dụng cụ thể của entropy trong AI:

• Tách thuộc tính trong cây quyết định (ID3, C4.5)
• Hàm mất mát cho mô hình phân loại (cross-entropy)
• Chọn mẫu trong học bán giám sát (entropy sampling)
• Đo bất định mô hình trong Bayesian deep learning

Entropy và nguyên lý cực đại (MaxEnt)

Nguyên lý entropy cực đại, do Edwin T. Jaynes đề xuất, phát biểu rằng phân phối xác suất thỏa mãn các ràng buộc đã biết và có entropy lớn nhất là phân phối mô tả tốt nhất cho hệ thống. Đây là nguyên lý nền tảng trong suy diễn thống kê Bayes, cơ học thống kê và học máy.

Ý tưởng là: nếu không có thêm thông tin nào khác, nên chọn mô hình phản ánh nhiều khả năng nhất, tức là mô hình có mức độ ngẫu nhiên cao nhất mà vẫn thỏa mãn dữ kiện đã biết. MaxEnt tránh việc giả định không cần thiết và dẫn đến phân phối chuẩn trong nhiều trường hợp giới hạn.

Ví dụ: nếu chỉ biết kỳ vọng $\mathbb{E}[X] = \mu$, thì phân phối có entropy tối đa sẽ là phân phối mũ. Nếu biết thêm phương sai, thì sẽ thu được phân phối chuẩn. Điều này cho thấy MaxEnt là công cụ thống nhất mạnh mẽ để xây dựng mô hình xác suất.

Entropy trong các lĩnh vực liên ngành

Entropy không giới hạn trong vật lý hay thông tin học mà xuất hiện trong nhiều ngành khác như:

• Sinh học: đo đa dạng sinh học qua chỉ số Shannon
• Kinh tế học: đo mức độ phân bổ tài sản, độ bất định trong thị trường
• Mật mã học: entropy dùng để đo tính ngẫu nhiên và độ mạnh của khóa mã hóa
• Hệ động lực học: entropy Kolmogorov-Sinai để đánh giá hỗn loạn trong hệ phi tuyến

Trong sinh thái học, chỉ số entropy Shannon được dùng để đánh giá mức độ phong phú và phân bố loài. Một hệ sinh thái có nhiều loài với tần suất xuất hiện gần bằng nhau sẽ có entropy cao – tức là đa dạng và ổn định.

Trong mật mã học, entropy đo lượng thông tin mới trong chuỗi bit. Khóa có entropy thấp dễ bị đoán, do đó các hệ thống bảo mật thường yêu cầu sinh số ngẫu nhiên có entropy cao bằng phần cứng đặc biệt.

Thảo luận về entropy âm và nghịch lý

Mặc dù entropy thông thường luôn không âm, trong vật lý lượng tử và lý thuyết thông tin lượng tử có những khái niệm entropy âm. Ví dụ, trong hệ lượng tử rối, entropy có thể âm theo định nghĩa entropy điều kiện.

Điều này gây ra các nghịch lý như nghịch lý thông tin lỗ đen, trong đó thông tin bị mất đi sau khi vật chất rơi vào lỗ đen, làm mâu thuẫn với định luật bảo toàn thông tin. Một hướng giải quyết là đưa ra khái niệm entropy von Neumann: $S(\rho) = - \mathrm{Tr}(\rho \log \rho)$, với $\rho$ là ma trận mật độ.

Nghiên cứu gần đây trong nhiệt động học lượng tử chỉ ra rằng entropy có thể giảm cục bộ khi trao đổi thông tin lượng tử, nhưng tổng thể vẫn tuân thủ nguyên lý thứ hai. Điều này giúp kết nối entropy cổ điển với entropy lượng tử trong các hệ phức tạp.

Xem thêm tại: Nature Physics – Negative entropy and quantum thermodynamics

Kết luận

Entropy là đại lượng đa chiều, mang tính khái quát cao, và là điểm giao thoa giữa vật lý, toán học, thống kê và công nghệ. Dù khởi nguồn từ nhiệt động lực học, entropy đã lan rộng và trở thành công cụ lý luận trong mọi lĩnh vực có yếu tố ngẫu nhiên, bất định hoặc phân phối.

Hiểu rõ entropy giúp xây dựng mô hình tốt hơn, nén dữ liệu hiệu quả hơn, bảo mật mạnh hơn và giải thích nhiều hiện tượng tự nhiên một cách sâu sắc hơn. Với sự phát triển của khoa học dữ liệu và công nghệ lượng tử, vai trò của entropy ngày càng trở nên trung tâm trong thế kỷ 21.